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ABSTRACT: 

Various methods for reducing redundancy and irrelevance are knov\/n for the transmission of 
picture information via a channel having a limited data capacity. Thus, movement vectors are 
determined and coded for part-picture areas. The part-picture areas themselves are also 
subjected to a coding, for example a discrete cosine transformation DCT. A method is specified 
which provides a possibility of reliable picture reconstruction. In the method according to the 
invention, displacement vectors (D) are determined part-picture-area by part-picture-area for a 
movement-compensated estimated picture (K + 3) and transmitted. Using the 
picture-element-to-picture-element differences (DFD) betv/een estimated picture (K + 3) and the 
new picture (K + 3) corresponding to the estimated picture, part-picture areas having a high 
content of movement are DCT-transformed and transmitted. Only every third picture is 
transmitted. Intermediate pictures are extrapolated with movement compensation. 



BEST AVAILABLE COPY 




Europalsches Pateniamt 
European Patent Office 
Office europ^en des brevets 



0 VerSffentlichungsnummer: 



0 346 637 

A2 



© EUROPAISCHE PATENTANMELDUNG 

© Anmeldenummer: 89108917.9 © Int. Cl.^ H04N 7/137 , H04N 7/133 

@ Anmeldetag: 18.06.89 



(§) Prioritat: 13.06.88 DE 3820038 


© Anmetder ANT Nachrichtentechnik GmbH 


Gerberstrasse 33 


@ Veroffentlichungstag der Anmeldung: 


D-7150 Backnang(DE) 


20.12.89 Patentblatt 89/51 


© Erfinder: Grotz, Karlheinz. Dlpl.-lng. 


® Benannte Vertragsstaaten: 


Wllhelmstrasse 25 


DE FR GB rr NL 


O-7012 Fetlbach(DE) 


Erfinder: Mayer, Jorg, Olpl.-lng. 




Obere Waiblinger Strasse 120 




D-7000 Stuttgart 50(DE} 




Erfinder: SUssmeler, Georg, DipL-lng. 




Hohenhelmer Strasse 19 




D-7150 Backnang(PE) 



0 Verfahren zur Aufberellung und Obertragung elner Bildsequenz. 

® FUr die Obertragung von Bildinformation uber einen Kanal mit begrenzter Datenkapazitat sind verschiedene 
Verfahren zur Redundanz- und Irrelevanzverminderung bekannt So werden Bewegungsvektoren fur Teilbildbe- 
reiche ermittelt und codiert. Die Teilbiidbereiche selbst werden ebenfalls einer Codierung unterzogen, z.B, einer 
diskreten Cosinus-Transformation OCT, Es wird ein Verfahren angegeben, welches eine zuveriassige Bildrekon- 

struktion ©rmoglicht. . . . . u 

Beim Verfahren nach der Erfindung werden Verschiebungsvektoren (D) teitbildbereichsweise fur em bewe- 
gungskompensiertes Schatzbitd (K + r) ermitteit und Qbertragen. Anhand der Bildpunkt-zu-Biidpunkt-Differenzen 
(DFD) zwischen Schatzbild (K+3T und dem dem Schatzblld entsprechenden neuen Biid {K+3) werden 
Teilbiidbereiche mit hohem Bewegungsanteil DCT-transformiert und ubertragen. Nur jedes dritte Bild wird 
Qbertragen. Zwischenbilder werden bewegungskonnpensiert extrapoliert. 
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Verfahren zur Aufbereitung und Ubertragung einer Bildsequenz 

Die Erfindung betrlfft ein Verfahren zur senderseitigen Aufbereitung einer Bildsequenz fOr die Ubertra- 
gung Qbereinen Kanal mit begrenzter DatenkapazitSt und deren empfangsseitige Rekonstruktion. 

Fur Blldinfonnationen, die Qber einen Obertragungskanal mit begrenzter Datenkapazitat ubertragen 
werden sollen. gibt es zahireiciie Verfahren zur Redundariz- und irrelevanzverminderung. In Esprit '86 

5 Results and Achievements, Commission of the European Communities, Directorate General XIII, 1987, 
North-Holland, Seiten 413 bis 422, werden einige solcher Verfahren vorgeschlagen. Beim DPCM 
(Differential Pulse Code Modulation)-Verfahren wird anstelle aktueller Abtastwerte die Differenz zwischen 
dem aktuellen Wert und einem Pradiktionswert ubertragen. Die Datenkompression wird durch Quantlsierung 
erreicht. Bel der adaptiven DPCM wird anhand eines Bewegungskriteriums die Pradiktion und der Quanti- 

70 sierungsgrad gesteuert. Beim ABTG (Adaptive Block Truncation Coding)-Verfahren wird die Codierung je 
nach Bewegungsanteil von Blldbereichen in 3 Moden gesteuert. Das HPC (Hierarchical Predictive Coding)- 
Verfahren basiert auf der Kombination von Pradiktionscodierung und Interpolation. Bel der Transfornnations- 
codierung. z.B. der ADCT (Adaptive Cosine Transform)-Codlerung werden die ortlichen Abtastwerte eines 
Bildblocks mittels einer mathematlschen Vereinbarung transformiert zur Gewinnung von entkorrelierten 

75 Koeffizienten. Die Datenkompression wird durch Abschneiden vom Koeffizienten und nichtlinearer Quantlsie- 
rung en-eicht. Bel der Vektorquantisterung wird das Bild in eine groCe Zahl kleiner Zellen unterteilt, z.B. 2x2 
Oder 4x4 Bildelemente. Jede Zelle von K Bildelementen wird dann ais Vektor im K dimensionalen Raum 
aufgefaflt. Eine Anzahl von reprasentativen Vektoren wird fur die Ubertragung ausgewahlt. Fur die Codie- 
rung werden die aktuellen Blldvektoren durch die reprSsentativen Vektoren in ihrer Nachbarschaft beschrie- 

20 ben. 

Aus der DE-PS 37 04 777 ist es bekannt, die Bewegungsvektoren fOr Teiibildbereiche zu ermittein und 
diese zu codieren. Bel stark bewegten Bereichen werden biidpunktabhangige Informationen fur diese 
Teiibildbereiche ubertragen. 

Aus SPIE (Internationai Society for Optical Engineering). Seiten 119 bis 128. ist es bekannt, fUr ein 

25 ganzes sich bewegendes Objekt Verschiebungsvektoren zu enmitteln und zu Ubertragen. Pradiktionsfehler 
werden blockweise codiert. beispielsweise mittels einer DCT (discrete cosine transform)-Transformatlon und 
Ubertragen. Ausgeiassene Zwischenbilder werden empfangsseitig bewegungsadaptiv interpoliert. 

Aufgabe der Erfindung ist es ausgehend vom Oberbegriff des Patentanspruchs 1 ein anderes Verfahren 
anzugeben, welches insbesondere eine gute empfangsseitige Bildrekonstruktion emnoglicht Diese Aufgabe 

30 wird durch die Merkmale des Patentanspruchs 1 gelost. Die UnteransprUche zeigen vorteilhafte Weiterbil- 
dungen dieses Verfahrens auf. 

Die Erfindung weist folgende Vorteiie auf: 
Es wird eine hohe BlldqualitSt erreicht, was insbesondere durch die Ermittlung eines bewegungskompen- 
sierten Schatzbildes und der aktivitatsgesteuerten Codiemng von Teiibildbereichen ermogiicht wird. 

35 Durch eine bewegungskompensierte empfangerseitlge Blldextra-(-inter)-polation wird eine ruckartige 
Biiddarstellung vermieden. Der Obertragungskanal wird optimal ausgenutzt. im Gegensatz zur Realisierung 
gemafl SPIE, Seiten 119 bis 128, wo ein ganzes Objekt durch einen Verschiebungsvektor beschrieben wird 
und demnach in den Randbereichen dieses Objekts ein grofler Unsicherheitsbereich entsteht, der nur durch 
Ubertragung von Pradiktionsfehlern im gesamten Unsicherheitsbereich klein gehallen werden kann, mufl 

40 beim Verfahren nach der Erfindung nur bei ganz wenigen Teilbildbereichen/Blocken Originalbildinhalt bzw. 
Pradiktionsfehler Ubertragen werden. Durch die Auswahl der zu ubertragenden transformierten 
Teilbildberelche/Blocke anhand der Differenzen (Fehler) zu vorhergehenden Teiibildbereichen /Blocken ia^t 
sich bereits mit wenig Ubertragungsdaten ein bezuglich eines Bewegungsablaufes sicheres Bild rekonstru- 
ieren. Das Verfahren nach der Erfindung bzw. ein danach ausgefuhrter Codec eriaubt folgende Betriebsar- 

45 ten: 

- Obertragung der Kopf-Schulterdarsteiiung einer Person mit einer zeitlichen Aufiosung von 25 (30) Btidern 
pro Sekunde, 

- Ubertragung von Slandbildem mit hoher Ortsauflosung und daraus abgeleitet: 

- Standbild mit eingefrorenem Bewegtbild, 
50 - Standbild mit eingebiendetem Bewegtbild. 

Anhand der Zeichnungen wird ein AusfGhrungsbeispiel der Erfindung nun naher erlautert. Es zeigen: 
Fig. 1 ein Blockschaltbild fur ein Bildtelefon Uber ISDN, bei welchem das Verfahren nach der 
Erfindung eingesetzt wird, 

Fig. 2 das Prinzip der bewegungskompensierten Pradiktion, 
Fig. 3 das Prinzip der blockorientierten Bildextrapolatlon, 
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Rg. 4 ein Video-Coder mit Codierung der Quellbildsequenz, 

Rg. 5 ein Video-Coder mit Codierung des Pradiktiohsfehiers, 

Rg. 6 eine Bitmaske zur Adressierung der Verschiebtingsvelrtoren, 

Rg. 7 eine Kennllnie zur DSmpfung klelner Differenzen, 

Rg. 8 eine Sortiertabelie fUr die DFD, 

Rg. 9 ein Video-Decoder, 

Rg. 10 einen Datenraiimen fGr die Qbertragung, 

Rg. 11 die Vektor- und DCT-Maske bei einer Bildvorlage mit Bewegungsanteii. 
Rg. 12 eine Ubersicht Uber die DCT-Codlerung, 
Rg. 13 die DCT-Klassifikation. 

Das Bildtelefon nach Rg, 1 besteht aus getrennten Codem und Decodem fGr die Bild- und TonObertra- 
gung. Damit ist z.B. eine Ubertragung Qber 2 B-Kanale in einem ISDN-Netz mOgllch. Eine Qbertragung von 
Bild und Ton Gber einen B-Kanal ist nach geeigneter Quellcodierung des Tones ebenfaiis moglich, ohne 
dafi sich am Prinzip der Biidcodierung etwas Sndert. Die Bngangsbildsequenz R.G,B wird z.B. nach der 
digitalen Fernsehnorm CCIR 601 abgetastet (A/D-Wandlung und Taktableitung). Die Toninformatlon wird 
ebenfaiis A/D gewandelt und einer Kompandierung unterworfen. Die Digitaiabtastung erfolgt gemaS CCIR 
601 folgendermafien: 



20 



25 



30 



36 



Luminanz (Y) -Abtastfrequenz: 


13,5 iVlHzSBit linear" 


Chrominanz (UAO • Abtastfrequenz: 


6,75 MHz 8 Bit linear 


Bits/Pixei (Farbe): 


16 


Aktiver Bildinhait: 


720^576 Pixel 


Bildwechsel: 


50 (60) Haibbilder/s 


864 * 625 • 25 * 16 216 MBit/s 



Die hohe Qualitat dieser Abtastung eriaubt die Speicherung hochaufiosender Standbilder, wie sie fQr die 
vorgenannte zweite Betriebsart vorgesehen Ist. 

Zur Anpassung dieser Quellbildsequenz an den nachfolgenden Video-Coder wird diese folgendermafien 

vorbehandelt (Preprocessing): 

Halbieren der Aufiosung des Bildes in horizontaler und vertikaler Richtung. 
Reduktion der Chrominanzaufiosung in vertikaler Richtung auf 1/2. 
Nutzung der Austastlucke zur Ubertragung. 
Somit 352 ' 288 aktive Bildpunkte; 25 Hz Bildwechsel. 
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Y Abtastfrequenz: 


6.75 MHz 8 Bit linear 


UN Abtastfrequenz: 


3,375 MHz 8 Bit linear 


Bits/Pixel: 


12 


Bildwechsel: 


25 (30) Hz ohne Zeilensprung 


Datenrate: 


30,41 (36,49) MBit/s 


Reduktion: 


Faktor7 



Diese Maflnahme reduziert die Quelldatenrate von 216 Mbit/s auf 30.41 (36.49) MBit/s. Die weitere 
Reduzierung geschieht im Video-Coder, der in Fig. 4 bzw. Fig. 5 dargestelK ist. IVlit sender- und 
empfangerseitigen ISDN-interface SctiaKungen wird die Ubertragung auf 64 l<Bit/s iSDN-Kanalen emiog- 
licht. EmpfSngerseitig erfolgt eine zur senderseifigen Aufbereitung entsprechende Decodlerung. Die Figur 9 
zeigt den entsprechenden Video-Decoder. Eine Signainachverarbeitung (Post-Processing) stellt wieder ein 
gemaC CCIR 601 normgerechtes Bildformat her, welches nach D/A-Wandlung und Hinzufugung von 
Synchroninformation zur Wiedergabe auf einem RGB-Monitor geeignet ist. Die Schaltungsbloclffi FECC 
(Forward Error Correction Control) und EGG (En-or Correction Control) sind Bnheiten zur bedarfsweisen 
Fehlerl<orrelrtur. Ubertragungsfehler Iconnen damit erkarnt und sowelt moglich Itorrigiert werden. 

Die Grundidee des Codecs wird nun anhand der Figuren 2 und 3 eriautert. Sie besteht darin, nach dem 
Bildaufbau nur jades 3. Bild (Fig. 2) zu codiereh. Hierzu wird von dem Bild K+3 im Coder ein 
bewegungskompensiertes Schatzbild K+3* aus Bild K gebildet. Die Veldoren, mit denen K+3* gebildet 
wird, werden Qbertragen. so daB der Decoder das gleiche Schatzbild erzeugen kann. Es werden dann die 
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Pixel zu Pixel Differenzen DFD zwischen dem Schatzbild K + S" und dem neuen Bild K+3 blockweise 
addiert (DFD = Displaced Frame Difference). Die DFD innerhalb eines BlockS/Teilbiidbereichs von 8*8 
Pixel ergibt sich zu 
DFD = ei:|pk+3* (x,y) - PK-.3(x,y)| 
5 nnit Blockkoordinaten: x = 1 ,8 y = 1 ,8 
und Pixelintensitat p. 

Fur die Telibildbereiche/Blocke mit groflen Summen, die Steilen mit groflen Abweichungen kennzeich- 
nen. wird entweder der Originalbildinhalt (Fig. 4) Oder das Differenzblld (Fig. 5) mit einer wahmehmungs- 
adaptiven OCT (Discrete Cosine Transform) codiert. Im Emp^anger wird die inverse DCT gebildet und In 
10 das bewegungskompensierte SchStzbtId eingesetzt. Die fehlenden Zwischenbllder warden mit den Ubertra- 
genen Verschiebungsvektoren D bewegungskompensiert extrapoliert oder interpoliert, so dafi wieder ein 
weicher Bewegungsablauf entsteht (Rg, 3). Wie aus Fig. 3 ersichtiich ist. wird das Bild K + 1 aus denn Bild K 
extrapoliert (Verschiebungsvektor + 1/3 Dk) und das Bild K + 2 aus dem Bild K+3 (Verschiebungsvektor - 
1/3 Dk.3). 

15 Um einen schnellen Bildaufbau am Anfang der Verbindung zu gewahrleisten, wird zuerst ein um den 
Faktor 4 planar tiefpassgefiltertes erstes Bild Gbertragen. Danach wird der Bildinhalt erganzt. der um den 
Faktor 2 planar tiefpassgefiltert ist. SchlieBlich wird ungefilterter Bildinhait erganzt. Das MaB zur Steuerung 
dieser drei Betriebsarten wid aus der mittleren DFD • MDFD - gewonnen. Das Verfahren garantiert. dafl der 
Bildinhalt auch bei groBen Anderungen konsistent bleibt. D.h. ein willkiirliches "Einfrieren" von Bildinhalten 

20 bei groflen Anderungen wird venmieden. Zur Ermitttung dieser mittleren DFD werden die Biidpunkt-zu- 
Bildpunkt-Differenzen aller BJOcke zu je 8*8 Pixel herangezogen. Es ergibt sich demnach; 
MDFD SEE DFD (IJ) 
i = 1,44 
j = 1.36 

25 Die Funktion des Video-Coders wird am Beispiel der Luminanzbildverarbeitung (Fig. 4 und Rg. 5) 
beschrieben, da in der Chrominanzbildverarbeitung Ergebnisse aus dem Luminanzzweig ubernommen 
werden. Beim Video-Coder nach Fig, 4 wird die Quellbildsequenz DCT transformiert, wohingegen beim 
Video-Coder nach Rg. 5 ein Differenzbild DCT transformiert wird. Da der Aufbau dieser belden Video- 
Coder-Versionen sehr ahnlich ist, wird nur eine Ausfuhrungsform ausfuhrlich eriautert und fur die andere 

30 nur die davon abweichende Realisierung beschrieben. 

Jedes dem Eingang des Video-Coders ais Y-PCM Signal zugefuhrte neue Bild K + 3 wird mehrfach 
weiterverarbeitet: 

a) Das Bild K+3 wird in der Stufe TP1 um den Faktor 2 planar tiefpassgefiltert und die Abtastfre- 
quenz halbiert. Am Ausgang erscheint ein Bild (K + 3)'. Dieser, in der Ortsauflosung reduzierte Bildinhalt, 

35 wird verwendet. wenn die mittlere DFD einen Grenzwert TH2 uberschreitet (Spatiales Subsampling bei 
groBen Anderungen). Die Verkleinerung wird im Decoder und fur die Pradiktion durch Interpolation wieder 
aufgehoben (Stufe TP3). 

b) Das Bild K+3' wird in der Stufe TP2 noch einmal um den Faktor 2 planar tiefpassgefiltert und die 
Abtastfrequenz halbiert. Am Ausgang der Stufe TP2 erscheint das Bild (K + 3)". Dieses Bild wird im Falle 

40 des Verbindungsaufbaus oder eines Schnitts verwendet und vollstandig mit Hilfe der DCT ubertragen. Ais 
Kriterium hierfiir wird ebenfalls die mittlere DFD (wie in a), jedoch mit einer Schwelle TH4 > TH2 
herangezogen.. Damit erhalt man einen schnellen Bildaufbau. Die Verkleinerung wird im Decoder und fur die 
Pradiktion durch Interpolation wieder aufgehoben (Stufen TP3 und TP4). 

c) Mit Hilfe des in einem Bildspeicher FST2 gespelcherten Bildes k' und dem Bild K+3 wird im 
45 Bewegungsvektorschatzer ME ein Satz von Verschiebungsvektoren D ermittelt. Ein Vektor gilt fur einen 

Bereich von 16'16 Pixel. 

d) Das Bild K+3 wird mit dem im Bildspeicher FST1 gespeicherten Bild K verglichen. Das Bild K 
wird durch eine inverse DCT-Transformation DCT"^ und gegebenenfalls Aufhebung der Tiefpassfilterung 
(Stufen TP3, TP4) erstellt. Mit Hilfe der Frame-Differenz-Stufe FD werden dabei blockweise geanderte 

50 Bildbereiche von ungeanderten unterschieden. Die Bildung der Frame-Dlfferenz geschieht nach der Bezie- 
hung: FD = £I|pK(x,y) - PK+3(x,y)| 
x = 1.8 
y=i,8 

55 FUr die geanderten Bildbereiche werden Verschiebungsvektoren D zur Bewegungskompensation zum 
Decoder Gbertragen. im Coder und Decoder wird damit im Extrapolator zur Bewegungskompensation MCFE 
(Motion Compensated Frame Interpolator) ein bewegungskompensiertes Schatzbild K+3' aus Bild K 
gebildet. Die Adressierung der Verschiebungsvektoren geschieht mil einer Bitmaske (Rg. 6). die VWL 



4 



EP 0 346 637 A2 



(Variable word length) codlert wird. Die Verschlebungsvektoren werden ais Differenzen zum jeweils 
vorhergehenden Wert statistisch codlert, wobei pro Bild nur der erste Verschiebungsvektor ais Absolutwert 
Qbertragen wird. Im Noise Umiter NL wird die Differenz zwischen dem neuen Blid K+3 und dem Schatzbild 
K+3* bildpunktweise gebildet DIese wird einer nichtlinearen Kennlinle (Fig. 7) unterworfen, die kleine 
Differenzen dampft und groBe ungeandert iSflt. Wesentlich dafur, da0 kleine Differenzen nicht im Bild 
stehenbielben, sondern abgebaut werden kdnnen, ist dafi die kieinen Differenzen nur gedampft, aber nicht 
zu Null gesetzt werden (Fig. 7). Auf diese Weise wird zum einen das Grundrauschen des neuen Quellbiides 
gedampft und zum anderen kleine rauschartige Storungen durch Fehler in der bewegungskompensierten 
Pradiktion und der DCT-Codierung vermindert. Dies fOhrt zu einer Senkung des Bitbedarfs bei der DCTv 
Codierung. Die DFD wird blockweise fur 8*8 Pixel gebildet (Stufe DFD) und mit fallender GrQfie gemSfl 
einer Tabeile (Rg. 8) sortiert. Zusatzlich wird in diese Tabelle die jeweils fQr die DCT-Codierung des Blocks 
(Block No.) erforderltche Anzah! der Bits eingetragen. AuBerdem ist die Chrominanz-Signalisierung (Chrom. 
Flag) und die DCT-Bitzahl DCT'COSTS* eingetragen. 

Alle diese Informationen werden durch die Steuerung CONTROL zu einem Obertragungssignal aufberei- 
tet. Diese Informationen werden aus der DCT-Codierung des DFD-Bildes (Pradiktionsfehler Rg. 5) oder des 
Quellbiides (Rg. 4) gewonnen. Die frele Karalbitrate wird zur Obertragung von DCT-Blocken genutzt. Dabei 
werden die Blocke mrt der groflten DFD Dbertragen, bis der Kanai ausgefQIlt ist Die Bitmaske zur 
Adressierung der DCT-Blocke wird VWL codiert (Rg. 6). 

Filr die Pradiktion wird im Coder die inverse DCT-Transformation DCT"^ gebildet. Femer befinden sich 
hier Interpotationsfiiter, die verl<leinerten Bildinhalt wieder vergroflern {TP3 und TP4). Im Blldspeicher FST1 
wird das rekonstruierte Bild K gespeichert. Den Daten konnen ais Obertragungsfehlerschutz zusatzlich 
Informationen eines FEC-Codes (FEC = Forward en-or con-ection) beigefQgt werden. Die Steuerung 
(Control) uberwacht alle Funktlonen des Codecs und schaltet es gemSiS den Randbedingungen in die 
entsprechende Betriebsart. Die ISDN-Schnittstelle verbindet das Codec mit dem Netz. Die Auswahl der zu 
Gbertragenden Bildinformation wird durch Multiplexer MUX gesteuert. die wiederum von der Steuerung 
(Control) ihre Umschaltbefehle erhalten. 

In Abweichung zur Realisierung gemafl Rg. 4 wird in Rg. 5 nicht das Bild K + 3 uber den Multiplexer 
MUX zur DCT-Transformationsstufe gefiihrt, sondern die Differenz zwischen dem Bild K + 3 und dem 
Schatzbild K+3* (Stufe E 1). Hierdurch werden nur die Pradiktionsfehler DCT transformiert. Der 'Noise 
Umier' NL ist hier vor den Bngang des Multiplexers MUX geschaltet. Urn fOr die Pradiktion wieder ein 
Quellbild zur Verfugung zu haben, mu5 die Oifferenzbildung nach der DCT-Rucktransfornnation DCT"^ 
wieder ruckgangig gemacht werden (Stufe E 2). 

Im Video-Decoder (Rg. 9) - nur der Lumlnanzteil ist dargestellt - werden nach der ISDN-Schnittsteile 
die Steuerinformationen aus dem Datenstrom gewonnen (SYNC, CONTROL'). Die optionaie Fehlerkorrektur 
EC erkennt Obertragungsfehler und korriglert sie soweit moglich. der Demultiplexer DEMUX trennt Ver- 
schlebungsvektoren. DCT-Koeffizienten und den Chromlnanzanteii. Die Verschlebungsvektoren werden 
gespeichert, die Bitmasken werden decodiert. Mit Hilfe der decodierten.Vektoren D und dem im Bildspei- 
cher FST gespeicherten Bild K wird mit Hilfe des Extrapoiators zur Bewegungskompensation MCFE1 ein 
bewegungskompensiertes Schatzbild K+S" des aktueilen Biides gebildet. Die ubertragenen Bildblocke aus 
dem Bild K + 3 werden einer inversen DCT-Transformation DCT"' unterworfen und in das Schatzbild K+3* 
mittels der Summierstufe E 3 eingesetzt. Ein weiterer Extrapolator zur Bewegungskompensation MCFE2 
extrapoliert die ausgeiassenen Bilder K+ 1 und K+2 gemaC Rg. 3 bewegungskompensiert. 

Nach Rg. 3 wird das Bild K+ 1 aus Bild K durch Umrechnen der Vektoren, die zu Bild K gefOhrt haben, 
extrapoliert. Bild K+2 wird aus Bild K+3 durch Umrechnen der Vektoren. die zu Bild K + 3 gefiihrt haben, 
extrapoliert. Auf diese Weise wird die Originalbildfrequenz von 25 (30) Bl!dem/s wiederhergesteiit. Das 
Bildsignal kann mit einem rekursiven zeitiichen Filter von kieinen Bewegungsdefekten befreit werden (nicht 
dargestellt). 

Der Wert eines Pixels p(x,y) berechnet sich dabei nach der Fonnel: 
P(x,y) = p-l(x.y) + 1/2 (p(x,y) - p-l(x,y)). . ^ . u 

Schnelle Anderungen werden so auf mehrere Bilder verzogert; es entsteht ein Uberblendeffekt, der stch 
z.B. bei Augen und Mundbewegungen. die nicht durch Vektoren beschreibbar sind, vorteilhaft auswirkt. 

Rgur 10 zeigt einen Datenrahmen fur die Obertragung. Die Daten werden serieil in sieben verschiede- 
nen Zeitschlitzen Qbertragen: Synchronwort (Sync). Vektor Maske (Vector Mask.), Steuerinformation (Contr, 
Inform.), Vektorinformation (Vector. Inform.). Luminanz- und Chrominanz-DCT (Lum. DCT. Chrom. DCT) und 
Aktuaiisierungsinformation (Update Mask), 

In Rgur 11 ist die Vektormaske (AuBenkonturen schraffiert) und dt© DCT-Maske (flachig schraffiert) fur 
eine bewegte Biidvortage dargestellt. Wie aus Figur 11 ersichtlich, miissen nur stark bewegte Bereiche im 
Gesichts- und Schulterbereich mittels DCT Qbertragen werden. 
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Fur den Bewegungsschatzer ME kann ein Gradientenverfahren insbesondere gemafl EP 236 519 A1 
verwendet warden, welches mit drei Iterationsschritten auskommt Als Startwert der Schatzung wird vom 
ortsgieichen Block aus dem vorhergehenden Vektorfeld ausgegangen. Nichtganzzahlige Vektoren konnen 
bilinear interpoliert werden. Ein voilstandiges Bild kann durch 396 Vektoren beschrieben werden. 
5 Als Extrapolaticnsfilter MCFE konnen die ebenfails aus EP 238 519 A1 bekannten FIR (finite impulse 
response)-Filterstrukturen benutzt werden. Eine planare Interpolation nichtganzzahllger Vektoren ist mit 
solchen Filtern folgendermafien moglich: 

Lumlnanz: 2fach-0berabtastung mit sieben Koeffizienten Chrominanz: 4fach-Uberabtastung mit elf Koeffi- 
zienten. 

10 Fur die DCT-Transformation wird wie bereits geschildert eine feste BlockgrS/Je von 8'8 Bildpunkten 
verwendet. Je nach Betriebszustand verarbeitet die DCT BlldblScke von ff'S Bildpunkten 
' in voller Aufl5sung (normaler Mode) nach Tabelle 1 (Figur 8) oder 

' mit halber Auflosung in beiden Richtungen bei drohendem Bufferuberlauf (entspricht einem Bildausschnitt 
von 16*16 Punkten). 

75 • mit einem viertel der Auflosung bei Bildaufbau und Szenenschnitt (entspricht einem Bildausschnitt von 
32*32 Punkten). 

Fur alle Betriebsarten wird der gleiche DCT-Algorithmus verwendet. Der DCT-Coder erreicht eine 
mittlere Datenrate von < 1 bit/Biidpunkt. 

Eine zweidimensionale DCT-Transformation von 8'8 Bildpunkten wird durch zwei aufeinanderfolgende 
20 eindimensionale DCT-Transformationen von jeweiis acht Bildpunkten erreicht. Fur Hin- und Rucktransforma- 
tion wird der gleiche Aigorithmus venwendet. Eine Obersicht uber die gesamte DCT-Codierung gibt Figur 
12. die ausfuhrlich in der DE 37 09 094.1 beschrieben ist. Hier nur eine Kurzerlauterung der Funktionsblok- 
ke gemafl Figur 12: 

25 

Kantendetektlon und Adaption der spektralen Schwellen 

Durch die Kantendetektion wird eine lokale Adaption der spektralen Sichtbarkeitsschwellen erreicht. 
V^erden in einem Block diagonale Kanten detektiert, so werden auch Koeffizienten beriicksichtigt, die ihre 
30 Sichtbarkeitsschwelle nur zur Halfte erreichen. 



Klassifikation 

35 Die Koeffizienten, die die Sichtbarkeitsschwelle uberschreiten, werden nach Klassen eingeteilt und 
ubertragen (Fgur 13). Die Kiasse gibt an, welche Koeffizienten in weicher Reihenfolge ubertragen werden 
(Koeffizientenadressierung). Die Klasseninformation wird als Zusatzinformation entropiecodiert Obertragen. 

40 Luminanz-Block 

* Unterdruckung singularer Koeffizienten. 

* Relevante Koeffizientengruppen auswahlen. Bne Koeffizientengaippe wird nur dann berQcksichtigt. wenn 
mindestens die HSIfte ihrer Koeffizienten die Sichtbarkeitsschwelle Qberschreitet. Alle Koeffizienten einer 

45 relevanten Koeffizientengruppe werden ubertragen (z.B, 18 Koeffizientengruppen). 

• Alls relevanten Koeffizientengruppen werden zu einer Ktasse zusammengefai3t, z.B. 16 Klassen (Rgur 13). 

Chrominanz-Block 

50 

Da hier nur wenige Koeffizienten ubertragen werden mQssen, konnen die Koeffizienten direkt zu 
Klassen zusammengefafit werden (z.B. 8 Klassen bei max. 7 Koeffizienten). 

55 Quantisierung 

Nur die durch die Klassifikation eines Blocks ausgewahlten Koeffizienten werden quantisiert. Jeder 
Koeffizient wird entsprechend seiner Sichtbarkeitsschwelle quantisiert. Die Wahrnehmbarkeitsschweilen fur 

6 
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die einzelnen Koeffizienten wurden durch visuelle Tests ermittelt. 



Entropiecodierung 

5 

Die gesamte Daten- und Steuerinformation ist entropiecodiert: 

*Die sBiektierten und quantisierten AC(Wechselanteil}-Ko0ffizienten, 

* Der PrSdiktionsfehler fur die DC(Gleichanteii)-Koeffi2ienten. 
70 * Die Klasseninformation, 

Die besonders hauflgen Werte der AC- und DC-Koeffizienten sind optimal codiert, die selten vorkom- 
menden Werte werden mit einem Prafix/Postfix-Binar-Code codiert. 
Foigende Varlationen des Codec sInd nnoglich: 

- Einsatz einer anderen Transformationscodierung an Stelle von DCT. 

15 • Einsatz einer Vektorquantisierung an Stelle der DCT. Bei hoheren Bitraten auch DPCM. 

• Bewegungsschatzer Es kann an Stelle eines Gradientenschatzverfahrens auch ein Blockmatching Such- 
verfahren angewendet weden. (z.B. Hierarchische Blockmatching DisplacementschStzverfahren nach EP 
236 519 A1, 

- Im Decoder kann an Stelle der Extrapolation ausgelassener Bilder eine Interpolation erfolgen. 

20 - Die zeltliche Tiefpai3filterung der rekonstruierten Bilder ist sowohl mit Hilfe einer RR-Struktur als auch 
mittels einer IIR {infinite impulse response) moglich. 



AnsprUche 

25 

1. Verfahren zur senderseitlgen Aufbereitung einer Bildsequenz fOr die Obertragung uber einen Kanal 
mit begrenzter DatenkapazitSt und deren empfangsseitige Rekonstruktion. dadurch gekennzeichnet dafl fur 
die Bildsequenz nach einer Bildaufbauphase foigendermafien behandelt wird: 

. senderseltig werden Daten der Einzelbilder der Bildsequenz unter Auslassung mindestens zweier Zwi- 
30 schenbilder folgendemnafien ausgewertet: 

a) teilbildbereichsweises Ermittein und Ubertragen der Verschiebungsvektoren fur ein bewegungskompen- 
siertes Schatzbild (k + 3*) aus dem Bild (k) vor den letzten ausgelassenen Zwischenbiidem. 

b) Biiden der Bildpunkt-zu-Blldpunkt-Differenzen (DFD) zwischen dem Schatzbild {k+3T und dem dem 
Schatzbild entsprechenden neuen Bild (k + 3), 

35 c) teilbildbereichsweises Aufsummieren dieser Bildpunkt-zu-Bildpunkt-Dlfferenzen (DFD), 

d) Codleren und Ubertragen jener Teilbildbereiche oder Differenzen. zwischen zeitilch aufeinanderfolgenden 
Teiiblldbereichen im Sinne einer Redundanzreduktion. fiir die das Aufsummieren grofie Werte liefert, 

- empfangsseitig wird 

e) eine zur senderseitlgen Codierung inverse Decodierung vorgenommen, 

40 f) die durch die Decodierung gewonnenen Daten werden in das mit den Verschiebungsvektoren empfangs- 
seitig erstellte bewegungskompensierte Schatzbild eingesetzt, 

g) jedes fehlende Zwischenbild wird mit den ubertragenen Verschiebungsvektoren bewegungskompensierl 
extrapoliert oder interpoliert. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dafl die senderseitige Bildsequenz zur 
45 Datenreduktion folgendermaBen vorbehandelt wird: 

a) Reduzleren der Bildauflosung in horizontaler und vertikaier Richtung, 

b) Reduziaren der Chrominanzauflosung in vertikaier Richtung auf mindestens 1/2, 

c) Unterabtastung des Luminanzsignals, 

d) Unterabtastung der Chrominanz-Signale, und da^ die empfangsseitige Bildsequenz invers zur 
60 senderseitlgen Vorbehandlung wieder aufbereitet wird. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, da/J die Austastlucke mit zur Obertra- 
gung herangezogen wird. 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, daB die senderseitlgen Bilder 
55 progresslv, d.h. ohne Zeilensprung, abgetastet werden. 

5. Verfahren nach einem der Anspruche 1 bis 4. dadurch gekennzeichnet da/3 die Codierung der 
Teilbildbereiche oder Differenzen von Teilbiidbereichen durch eine wahrnehmungsadaptive Transformations- 
codierung, beispielsweise einer diskreten Cosinus-Transformation, erfoigt. 
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6. Verfahren nach einem der Anspriiche 1 bis 4. dadurch gekennzeichnet, da/J die Codierung der 
Teilbildbereiche oder Dlfferenzen von Teilbildbereichen durch eins Vektorquantisierung erfolgt, 

7, Verfahren nach einem der Anspruch© 1 bis 4, dadurch gekennzeichnet. daiS die Codierung der 
Teilbildbereiche oder Differenzen von Teiibiidbereichen durch DPCM-Codierung erfolgt. 

5 8. Verfahren nach einem der AnsprQche 1 bis 7, dadurch gekennzeichnet, dai3 die Verschiebungsvekto- 
ren zur Ubertragung als Differenzen zum jeweils vorhergehenden Wert statistisch codiert werden, wobei pro 
Biid nur der erste Verschiebungsvektor als Absolutwert Obertragen wird. 

9. Verfahren nach einem der Anspruche 1 bis 8, dadurch gekennzeichnet, daj3 bei der Obertragung von 
Differenzen von Teilbildbereichen sine Wichtung in dem Sinne vorgenommen wird, dafi kleine Differenzen 

10 gedampft und grofle Differenzen unverandert ubertragen werden. 

10. Verfahren nach einem der AnsprGche 1 bis 9, dadurch gekennzeichnet, daB die empfangsseitig 
rekonstruierte Bildsequenz mittels eines rekursiven zeltlichen Filters von ruckartlgen Bewegungsdefekten 
befreit wird. 
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